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Vraag 1 en 7 (gelijkluidende vragen) 

Kan een overzicht worden gegeven van de lOB evaluaties die de 
afgelopen 7 jaar zijn uitgevoerd op onderdelen van artikel 2, 3, 4 en 5 van 
de begroting BuHa-OS? In hoeverre zijn alle subonderdelen onderzocht in 
de afgelopen 7 jaar? 

Antwoord 1 en 7 

De bijgevoegde tabel (aan het einde van de beantwoording) vermeldt de 
titels van alle afgeronde beleidsdoorlichtingen, evaluaties en overige 
onderzoeken per operationele doelstelling van BHOS per jaar in volgorde 
van publicatie. Deze is gestructureerd naar de huidige begrotingsopbouw 
die van 2014 dateert. 

Vraag 2 en 8 (gelijkluidende vragen) 

In hoeverre bent u van plan om op basis van deze, en mogelijk andere 
beschikbare evaluaties, de komende jaren te komen tot een metastudie 
waarbij overkoepelend wel inzicht kan worden gegeven in de doeltref¬ 
fendheid en doelmatigheid van het beleid op het algemene doel van 
artikel 2, 3, 4 en 5? 

Antwoord 2 en 8 

Net als mijn voorgangers hecht ik er aan om u goed te informeren over de 
effecten van het gevoerde beleid op het terrein van ontwikkelingssamen¬ 
werking. Het bestaan van een afzonderlijke evaluatiedienst (lOB) hiervoor 
geeft daaraan uitdrukking. lOB heeft een groot aantal rapporten gepubli¬ 
ceerd, waaronder beleidsdoorlichtingen, onderliggende evaluaties en 
(synthese ) studies. Daarnaast ontvangt u periodiek de resultatenrappor¬ 
tages. Het is lastig om op basis van geheel verschillende beleidsdoorlich¬ 
tingen en evaluaties op valide wijze algemene conclusies te trekken over 
het beleid dat in uiteenlopende omstandigheden gebruik heeft gemaakt 
van ongelijksoortige kanalen en instrumenten, met wijzigende inzichten, 
ingezet voor diverse doelstellingen die veranderen onder invloed van 
specifieke sociaaleconomische ontwikkelingen. lOB, maar bijvoorbeeld 
ook een gezaghebbende organisatie als the International Initiative for 
Impact Evaluation (3IE), produceert sinds enkele jaren synthesestudies, 
die beogen de kennis van de effectiviteit van interventies op verschillende 
terreinen samen te vatten. Op verzoek van de Tweede Kamer heeft lOB in 
2008 een synthetiserende evaluatie van het Afrikabeleid gepubliceerd. 
Deze evaluatie laat zien hoe lastig het is om op zo'n breed beleidsterrein 
op valide wijze een overkoepelend oordeel te trekken over bereikte 
resultaten. Ook heeft lOB in het recente jaarbericht aandacht besteed aan 
de lessen van recente beleidsdoorlichtingen en evaluaties voor inclusieve 
groei. Deze lessen heb ik verwerkt in mijn beleid, waarover ik u recent heb 
geïnformeerd. lOB onderzoekt op dit moment op welke wijze de evaluatie- 
functie relevanter en strategischer kan zijn en het de resultaten van 
evaluaties en beleidsdoorlichtingen op een aansprekender en voor de 
Kamer doelmatigere wijze vorm kan geven. Uw vraag, om op bondige 
wijze inzicht te geven in de doelmatigheid en doeltreffendheid van het 
beleid, vormt daarbij een belangrijk signaal. 

Vraag 3 en 9 (gelijkluidende vragen) 

Op welke wijze gaat u ervoor zorgen dat het inhoudelijk wel gaat lukken 
om beleidsdoorlichtingen van één beleidsartikel uit te voeren? Wordt 
bijvoorbeeld de Algemene Rekenkamer daarbij betrokken, die goed zicht 
hebben op de kwaliteit van beleidsdoorlichtingen en mogelijke verbeter- 
punten daarin? 

Antwoord 3 en 9 

Het risico is groot dat een beleidsdoorlichting op artikelniveau ten koste 
gaat van de validiteit, kwaliteit en diepgang. Het aggregatieniveau wordt 
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te hoog, met negatieve gevolgen voor de informatie, verantwoording en 
te leren lessen. Het begrotingsartikel sociale vooruitgang, bijvoorbeeld, 
omvat thema's die in Nederland bij verschillende ministeries zijn belegd 
(zoals bij voorbeeld gezondheidszorg, onderwijs en sociale programma's) 
en daar ook meerdere begrotingsartikelen beslaan. lOB heeft in de 
afgelopen jaren ruime ervaring opgedaan met het uitvoeren van beleids- 
doorlichtingen en heeft daarvoor zowel binnen als buiten Nederland grote 
waardering gekregen. Ook de Algemene Rekenkamer is positief over de 
kwaliteit van deze beleidsdoorlichtingen en maakt daar voor eigen 
rapportages (zoals de serie «Monitoring OS») gebruik van. De Algemene 
Rekenkamer heeft het aggregatieniveau nooit ter discussie gesteld en 
doet dat ook niet in de brief van de wnd. president van de Algemene 
Rekenkamer aan de Tweede Kamer met aandachtpunten voor de BHOS 
ontwerpbegroting 2016. Zoals in de voorgaande vraag aangegeven is lOB 
wel op zoek naar een aansprekender wijze van rapporteren. Ik ben graag 
bereid om, met behoud van de kwaliteit en onafhankelijkheid van de 
beleidsdoorlichtingen, met lOB en de Algemene Rekenkamer daarover te 
overleggen. 

Vraag 4 en 5 en 10 (gelijkluidende vragen) 

In hoeverre bent u betrokken bij het opstellen van de evaluatieagenda van 
het lOB? Welke rol speelt de beleidscyclus bij het opstellen van de 
evaluatieagenda van het lOB? In hoeverre kunt u hierin sturen? 

Antwoord 4 en 5 en 10 

Het opstellen van de evaluatieprogrammering komt in overleg tussen de 
centrale directie Financieel Economische Zaken (FEZ), beleidsdirecties en 
lOB tot stand. De Regeling Periodiek Evaluatieonderzoek en Beleidsinfor¬ 
matie 2015 (RPE) en de beleidscyclus zijn leidend, naast de actualiteit en 
specifieke vragen vanuit het parlement. De programmering wordt jaarlijks 
bijgesteld als onderdeel van het begrotingsproces. 

Vraag 6 en 11 (gelijkluidende vragen) 

In hoeverre worden er door de lOB andere personen betrokken bij de 
opzet van de beleidsdoorlichting en andere personen die een oordeel 
kunnen geven over de kwaliteit van de beleidsdoorlichting? 

Antwoord 6 en 11 

Altijd. lOB heeft een uitgebreide procedure voor kwaliteitscontrole. Binnen 
lOB wordt de uitvoering van elke doorlichting kritisch gevolgd door 
meelezers (peer reviewers). Daarnaast is aan elke beleidsdoorlichting een 
referentiegroep verbonden, bestaande uit methodologische en thema¬ 
tische externe deskundigen, vertegenwoordigers van maatschappelijke 
organisaties en de beleidsverantwoordelijke directie(s). lOB nodigt tevens 
een medewerker van het Ministerie van Financiën uit. Verder zijn 
wetenschappers en consultante meestal betrokken bij de uitvoering van 
de beleidsdoorlichting. Directeur lOB stelt het rapport vast na overleg met 
de referentiegroep en meelezers. In ieder rapport legt directeur lOB 
verantwoording af over de kwaliteitscontrole. Samen met de intern 
onafhankelijke positie van lOB zijn dit belangrijke waarborgen voor de 
kwaliteit van de lOB-beleidsdoorlichtingen. Dit wordt nog expliciet 
bevestigd in de RPE (p. 8). Reacties van de Algemene Rekenkamer op de 
kwaliteit van beleidsdoorlichtingen geven daaraan eveneens uitdrukking. 

Vraag 12 

Kunt u toelichten waarom de beleidsdoorlichtingen op de artikelen 3.1, 3.4 
en 5.2 nog niet gepland zijn? 
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Antwoord 12 

lOB heeft voor artikel 3 twee beleidsdoorlichtingen afgerond, te weten de 
SRGR beleidsdoorlichting (beleidsdoelstelling 3.1, 2013) en de beleids- 
doorlichting Gender (3.2, 2015), die u in november zult ontvangen. De 
beleidsdoorlichting Maatschappelijk middenveld (3.3) is geprogrammeerd 
voor 2016. Zoals in de begroting is aangegeven lopen dit jaar de verschil¬ 
lende subsidie-instrumenten voor samenwerking met het maatschappelijk 
middenveld op het terrein van SRGR af. In 2016 start een geïntegreerd 
kader voor SRGR inclusief hiv/aids, het SRGR Partnerschapsfonds. 
Planning van een nieuwe beleidsdoorlichting is opportuun na invoering 
daarvan. Over de Nederlandse hulp aan het basisonderwijs heeft lOB eind 
2011 een beleidsdoorlichting afgerond. Een evaluatie van de hoger 
onderwijsprogramma's (3.4) zal in 2019 worden uitgevoerd. Het overig 
armoedebeleid (5.2) bevat uiteenlopende uitgaven, onder meer compen¬ 
satie aan de Wereldbank (IDA) en regionale ontwikkelingsbanken voor 
schuldverlichting, voorlichting en steun aan verschillende organisaties op 
het terrein van cultuur en sport. Dit onderdeel leent zich niet goed voor 
een afzonderlijke beleidsdoorlichting, met uitzondering van algemene 
begrotingssteun, waarvan u in 2012 het rapport hebt ontvangen. lOB heeft 
daarnaast verschillende malen schuldverlichting geëvalueerd (het laatst 
de schuldverlichting aan Nigeria in 2011). Het ministerie heeft recent de 
steun aan het Prins Clausfonds geëvalueerd. 

Vraag 13 

Hoe verhoudt het gestelde in de voetnoot onder de tabel Meerjaren¬ 
planning beleidsdoorlichtingen (p.19) zich tot hetgeen u aan de Kamer 
heeft gemeld in uw brief van 12 april 2013 (Kamerstuk 31 271, nr.10)? 

Vraag 14 

Wat is de reden dat het inhoudelijk tot nu toe niet mogelijk is gebleken om 
beleidsdoorlichtingen van één geheel beleidsartikel uit te voeren? 

Antwoord 13 en 14 

Een beleidsdoorlichting bestrijkt in principe een heel beleidsartikel, maar 
kan ook een substantieel en samenhangend deel van een beleidsartikel 
omvatten. In de genoemde brief van 12 april 2013 heb ik aangegeven dat 
de inspectie het beleid op het niveau van substantiële en samenhangende 
delen van een beleidsartikel ofwel beleidsdoelstelling doorlicht wanneer 
het begrotingsartikel te heterogeen is qua beleidsdoelstellingen en 
instrumenten. Bij een doorlichting op artikelniveau dreigt dan het gevaar 
dat door een te hoog abstractieniveau geen uitspraken gedaan kunnen 
worden over de effectiviteit van de Nederlandse inspanningen en dat 
conclusies algemeen blijven, niet getoetst kunnen worden en nauwelijks 
handvatten bevatten voor beter beleid. In die gevallen doet een 
doorlichting op artikelniveau geen recht aan de verantwoordingsfunctie, 
terwijl het ook lastig zal zijn om lessen te trekken uit de beleidsdoor¬ 
lichting. Waar mogelijk combineert het ministerie beleidsdoelstellingen. 
Een voorbeeld uit de BZ begroting is de beleidsdoorlichting «Strategie bij 
benadering: Nederlandse coalitievorming en multi-bi benadering van EU 
besluitvorming, 2014», die beleidsdoelstellingen 3.1 en 3.4 combineert. 

Vraag 15 

Hoe is het verschil tussen de gekozen perioden bij de verschillende 
beleidsevaluaties te verklaren? 

Antwoord 15 

Naast de verplichtingen zoals voorgeschreven in de RPE bepalen 
verschillende factoren de gekozen evaluatieperiode: de tijd dat het 
ministerie actief is (geweest) op een bepaald beleidsterrein (in een 
specifiek land) of een bepaald programma ondersteunt, de tijdsspanne die 
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nodig is om effecten te kunnen meten, beleidswijzigingen en het belang 
om effecten daarvan in kaartte kunnen brengen, de gevoelde noodzaak 
om het gevoerde beleid in een historische context te plaatsen, het bestaan 
van eerder uitgevoerde evaluaties en de periode die deze bestrijken, de 
relevantie van specifieke interventies voor het huidige beleid, vragen 
vanuit betrokken directies en/of de Tweede Kamer om een bepaalde 
periode te onderzoeken, de evalueerbaarheid voor een bepaalde periode 
(beschikbaarheid van data), en wensen vanuit de referentiegroep. Het 
ministerie streeft naar een vrij lange periode om recht te doen aan de 
verantwoordingsfunctie. De afbakening vindt plaats in overleg met de 
referentiegroep, waarin altijd externe deskundigen zitting hebben. 

Vraag 16 

Waarom is deze beleidsdoorlichting niet uitgevoerd voorafgaand aan het 
nieuwe beleid, zoals omschreven in de nieuwe voedselzekerheidsbrief uit 
november 2014 (Kamerstuk 33 625, nr. 147)? 

Antwoord 16 

Het beschikbare evaluatiemateriaal liet geen gedegen beleidsevaluatie 
voedselzekerheid in 2014 toe, terwijl het belang en de omvang van de 
programma's daar wel om vragen. Daarom is in de beleidsdoorlichting 
2012-2015 gekozen voor een evaluatiemethode waarbij de voortgang in 
een aantal voedselzekerheidsprogramma's en projecten in tussen begin 
2014 en begin 2016 gevolgd zou worden in impact studies. Eenmaal voor 
deze methode gekozen was het niet mogelijk de beleidsdoorlichting 
eerder te verrichten. 

Vraag 17 

In hoeverre zijn de resultaten uit het verrichte vooronderzoek betrokken bij 
het bepalen van het huidige beleid? 

Antwoord 17 

Tijdens het verrichten van dit vooronderzoek, een systematic review uit 
2011, zijn bevindingen en aanbevelingen besproken en gebruikt in de 
voedselzekerheidsbrief van oktober 2011 en de voedselzekerheidsbrief 
van november 2014. Voorbeelden zijn de aandacht voor het verminderen 
van gewasopbrengstverliezen en het opnemen van kinderondervoeding 
als indicator voor voedselzekerheid. 

Vraag 18 

Worden de resultaten uit het verrichte onderzoek meegenomen in het 
huidige beleid? Zo ja, kunt u hier concrete voorbeelden van geven? 

Antwoord 18 

De resultaten van het vooronderzoek zijn meegenomen in het huidige 
beleid zoals beschreven in de voedselzekerheidsbrief van 2014, die een 
voorzetting en verbreding was van het beleid beschreven in de voedselze¬ 
kerheidsbrief van 2011. Naast de voorbeelden genoemd onder antwoord 
17, is één van de bevindingen van het vooronderzoek in 2011, dat de 
meest marginale groepen vaak niet goed bereikt worden in duurzame 
ketenprojecten. Daarom wordt er in de nieuwe beleidsbrief van november 
2014 apart aandacht gegeven aan inclusieve groene groei en aan vrouwen 
en jongeren als ondernemers. Daarnaast is toegang tot betere voeding als 
een expliciet doel opgenomen, ook voor marginale groepen die niet direct 
profiteren van economische groei (doel 1). 

Vraag 19 

Waarom zijn Ethiopië, Rwanda, Uganda en Bangladesh gekozen voor de 
impact studies? 
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Antwoord 19 

De keuze van landen voor impact studies is enerzijds gebaseerd op het 
Nederlandse budget voor voedselzekerheid dat in die landen wordt 
uitgegeven: Ethiopië, Rwanda en Uganda vormden in 2012 hierin de top 3. 
Anderzijds is de keuze gebaseerd op de aanwezigheid in die landen de 
diverse typen projecten die in het Nederlandse beleid belangrijk zijn: een 
ketenbenadering voor de farm inputs (plantmateriaal en bemesting) en 
een markt gestuurde en een productie gestuurde ketenbenadering voor de 
farm outputs (groenten, vis, melk). Daarnaast is Bangladesh gekozen 
omdat hier het thema duurzaam watergebruik en voedselzekerheid goed 
samenkomen in een landbouw irrigatieproject. 

Vraag 20 

Waarom wordt een long-term ex-post impact evaluatie gedaan als de 
onderzoeksvraag zich met name richt op de doeltreffendheid in de periode 
2012-2015? Is dat om bij te dragen aan het inzicht in factoren die de 
effectiviteit van interventies verklaren? 

Antwoord 20 

Inderdaad. De impact studies in Ethiopië, Rwanda, Uganda en Bangladesh 
kijken vooral naar de korte termijn impact. Als aanvulling daarop is de 
long-term ex-post impact studie toegevoegd om inzicht te krijgen in de 
factoren die de effectiviteit op langere termijn beïnvloeden. Lessen daaruit 
kunnen nuttige beleidsaanbevelingen opleveren voor nieuwe activiteiten. 

Vraag 21 

Waarom wordt juist Mali gekozen om de lange termijn effecten in kaart te 
brengen? 

Antwoord 21 

Mali is gekozen omdat daar enkele grootschalige, door Nederland 
gefinancierde programma's ter ondersteuning van het van landbouwon¬ 
derzoek en de landbouwvoorlichtingsdienst hebben plaatsgevonden 
tussen 1983 en 2005. Er is sindsdien voldoende tijd verstreken om te 
beoordelen of de resultaten duurzaam zijn. 

Vraag 22 

In hoeverre zijn de gekozen te onderzoeken landen representatief voor al 
de vijftien partnerlanden tussen 2012 en 2015? Is het wel mogelijk om 
uitspraken te doen over de doeltreffendheid van de bijdrage van het 
Nederlandse voedselzekerheidbeleid aan de voedselzekerheidsituatie in 
de vijftien landen tussen 2012- en 2015? 

Antwoord 22 

De vier gekozen landen hebben de grootste en meest diverse voedselze- 
kerheidsprogramma's. In 2012 was de committering voor 2012-2015 aan 
voedselzekerheidsprogramma's in deze vier landen 58% van de totale 
committering. Naast de grondige impact studies in deze vier landen maakt 
ook de hele portfolio aan voedselzekerheidsactiviteiten in de vijftien 
landen deel uit van de analyse, waarbij lOB zo veel mogelijk gebruik zal 
maken van door derden uitgevoerde evaluaties. 

Vraag 23 

In de beleidsdoorlichting wordt gefocused op de periode 2012-2015, 
terwijl in 2014 een nieuwe beleidsbrief is verstuurd. In hoeverre heeft het 
vooronderzoek een rol gespeeld bij het bepalen van het nieuwe beleid? 
Hoe wordt deze beleidsdoorlichting meegenomen in het nieuwe beleid? 
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Antwoord 23 

Het vooronderzoek uit 2011 heeft bijgedragen aan voortschrijdend inzicht 
over hoe voedselzekerheid het beste bereikt kan worden. Zie ook 
antwoorden op de vragen 17 en 18. Deze beleidsdoorlichting zal eind 2016 
afgerond worden, en zal zeker meegenomen worden in de verdere 
beleidsontwikkeling en -uitwerking op gebied van voedselzekerheid. 
Andersom gelden de voedselzekerheidsbrieven uit 2011 en 2014 als 
referentie voor de beoordeling van de resultaten 2012-2015. 

Vraag 24 

Wat wordt concreet bedoeld met «in detail worden geëvalueerd»? Kan het 
lOB aangeven wat concreet verstaan moet worden onder «in detail»? 

Antwoord 24 

Met «in detail» bedoelt lOB dat de effecten van het project op de 
voedselzekerheidssituatie van de doelgroep zowel kwalitatief als 
kwantitatief geëvalueerd worden. Dit gebeurt door vergelijking tussen de 
directe doelgroep en een groep vergelijkbare boeren die niet door het 
project wordt bereikt. 

Vraag 25 

Zijn één of twee projecten die in detail worden geëvalueerd voldoende om 
daaruit algemene conclusies te destilleren? 

Antwoord 25 

lOB vult deze impact studies aan met evaluaties gedaan door andere 
evaluatiediensten. Dat maakt het mogelijk conclusies te trekken over 
bepaalde (voor Nederland belangrijke) typen voedselzekerheidsprojecten. 

Vraag 26 

Bent u ook van mening dat normatieve woorden als «hopelijk» niet 
passen bij beleidsevaluaties die objectief en onbevooroordeeld moeten 
zijn? Graag een toelichting. 

Antwoord 26 

Wat hier wordt bedoeld is dat het effect op voedselconsumptie vrij direct 
meetbaar is, maar dat het effect daarvan op kinderondervoeding, een 
cumulatief effect dat ook door andere factoren bepaald wordt, op korte 
termijn niet altijd is vast te stellen. 

Vraag 27 en 32 (gelijkluidende vragen) 

Wordt er in de beleidsdoorlichting ook aandacht geschonken aan de 
relatie tussen de gestelde doelen en de lagere financiële middelen die 
voor 2016 en later beschikbaar zijn? 

Antwoord 27 en 32 

Ja, de conclusies over relevantie, doelmatigheid en doeltreffendheid van 
het gevoerde beleid worden betrokken bij de formulering van beleids¬ 
opties voor mogelijke bezuinigingen. 

Vraag 28 en 33 (gelijkluidende vragen) 

Welk basisjaar wordt gehanteerd bij de beschrijving van de 20% bespa- 
ringsvariant? Worden daarbij ook de beschikbare middelen voor 2016 en 
verder betrokken? 

Antwoord 28 en 33 

De beleidsdoorlichting wordt in 2016 afgerond. In overeenstemming met 
het advies in de Handreiking Beleidsdoorlichtingen, waaraan naast het 
Ministerie van Financiën ook de Algemene Rekenkamer en het Bureau 
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Onderzoek en rijksuitgaven (BOR) van de Tweede Kamer de BOR hebben 
meegewerkt, geldt dan 2017 als basisjaar. 

Vraag 29 

Worden alle Nederlandse niet-gouvernementele organisaties betrokken in 
het onderzoek? Zo nee, welke wel naast VMP, SNV, NCDO? 

Antwoord 29 

Nee, niet alle organisaties worden betrokken. Er wordt een representa¬ 
tieve groep gesubsidieerde organisaties geselecteerd voor het onderzoek. 
Daarbij horen in elke geval de grote organisaties die financiering 
ontvangen uit het MFS I en II programma, zoals ICCO, Cordaid, Oxfam- 
Novib en Hivos. 

Vraag 30 

Kan bij de beleidsdoorlichting op het maatschappelijk kader ook aandacht 
worden geschonken aan het beloningsbeleid (zowel primaire als 
secundaire arbeidsvoorwaarden) en het vastgoed dat zij bezitten of 
huren? Kan dit ook kosteneffectiever? 

Antwoord 30 

Het beloningsbeleid en het vastgoed van maatschappelijke organisaties 
maken geen deel uit van de beleidsdoorlichting omdat deze niet is gericht 
op de organisaties zelf, maar op de resultaten van de door BZ onder¬ 
steunde activiteiten. Toezicht op het beloningsbeleid wordt geregeld via 
de Wet Normering Topinkomens (WNT). Maatschappelijke organisaties 
moeten hieraan voldoen om voor subsidie in aanmerking te komen. 

Vraag 31 

Wat doet u tegen verspilling van belastinggeld op zowel het maatschap¬ 
pelijk kader als de VN-organisaties? 

Vraag 43 

Kan bij de beleidsdoorlichting op de VN-organisaties ook aandacht 
worden geschonken aan het beloningsbeleid (zowel primaire als 
secundaire arbeidsvoorwaarden)? Kan dit ook kosteneffectiever? 

Antwoord 31 en 43 

In een beleidsdoorlichting wordt wel naar de doelmatigheid van de 
bestedingen gekeken. Beleidsdoorlichtingen zijn echter geen audits; 
specifiekere vragen over personeelsbeleid en salariëring vormen geen 
onderdeel van de beleidsdoorlichting maar maken onderdeel uit van 
intern en extern auditonderzoek. 

Het ministerie toetst daarnaast de jaarplannen en bijbehorende budgetten 
van medefinancieringsorganisaties op de doelmatigheid van de 
uitvoering. Wanneer extreem hoge kosten op een onnodige budgetlijn 
worden voorzien, keurt het ministerie dit af en bespreekt dit tijdens het 
beleidsoverleg. Het beloningsbeleid van de VN maakt deel uit van het 
werk van de Vijfde Commissie, die alle financiële aangelegenheden regelt. 
Nederland neemt actief deel aan de toezichthoudende rol van deze 
Commissie. 

Vraag 34 

Worden de Nederlandse niet-gouvernementele organisaties betrokken in 
het onderzoek? 

Antwoord 34 

De beleidsdoorlichting besteedt aandacht aan de strategieën en uitvoe¬ 
ringsmodaliteiten die de Nederlandse organisaties hanteren om het 
maatschappelijk middenveld in ontwikkelingslanden te versterken. De 
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analyse van die strategieën en modaliteiten speelt een rol bij het verklaren 
van de resultaten van de inspanningen. 

Vraag 35 

Worden de effecten van het beleid ten aanzien van sociale vooruitgang en 
maatschappelijk middenveld in ontwikkelingslanden ook onderzocht door 
middel van kwantitatieve analyses? Zo nee, waarom niet? Zo ja, op welke 
manier? 

Antwoord 35 

Er wordt een mix van kwalitatieve en kwantitatieve methodes gehanteerd. 
Bij de beschrijving van het landschep van financieringen worden cijfers 
over uitgaven per thema/sector, soort actor en land/regio gebruikt en 
geanalyseerd. Bij het onderzoek naar en de analyse van doeltreffendheid 
en doelmatigheid wordt gebruik gemaakt van statistieken en financiële 
verslagen van organisaties. 

Vraag 36 

Hoe betrouwbaar zijn conclusies die getrokken worden op basis van 
documenten van gesubsidieerde organisaties zelf? Hoe zwaar weegt de 
analyse van deze documenten mee in de evaluatie? Hoe wordt ervoor 
gezorgd dat deze resultaten het beeld niet onevenredig vertekenen? 

Antwoord 36 

De documenten worden vooraf geanalyseerd op hun betrouwbaarheid, 
validiteit en bruikbaarheid. Alleen documenten die voldoen aan die 
kwaliteitseisen worden gebruikt voor een zoveel mogelijk gekwantifi¬ 
ceerde synthese van lessen, gespecificeerd naar regio, sectoren en typen 
organisaties. Waar nodig wordt aanvullend onderzoek gedaan. 

Vraag 37 

Hoe betrouwbaar zijn conclusies die getrokken worden op basis van 
interviews met medewerkers van gesubsidieerde organisaties zelf? Hoe 
zwaar weegt deze analyse mee in de evaluatie? Hoe wordt ervoor gezorgd 
dat deze resultaten het beeld niet onevenredig vertekenen? 

Antwoord 37 

De feitelijke en controleerbare informatie uit interviews met medewerkers 
van geëvalueerde organisaties kan gebruikt worden als input voor het 
onderzoek. De informatie zal niet gebruikt worden voor de beoordeling 
van doeltreffendheid en doelmatigheid van de interventies. 

Vraag 38 

In hoeverre vormen de landen Indonesië, Rwanda en Uganda een 
representatieve afspiegeling van alle landen waar Nederland heeft 
gewerkt aan goed bestuur? 

Antwoord 38 

De keuze is gebaseerd op de prioriteit van het thema in het bilaterale 
beleid en daarmee op een breed spectrum aan activiteiten ter bevordering 
van democratisering, de rechtsorde, bestrijding van corruptie en de 
omvang van de decentraal bestede middelen aan democratisering. De 
omvang van de activiteiten in deze landen was groter dan in de andere 
landen waarmee Nederland een ontwikkelingsrelatie heeft. 

Vraag 39 

Waarom wordt de bureaustudie in Indonesië niet en de bureaustudies in 
Rwanda en Oeganda wel aangevuld met een kwantitatief onderzoek? 
Welke gevolgen heeft dit voor het trekken van eenduidige conclusies? 
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Antwoord 39 

In Indonesië heeft Nederland projecten altijd in samenwerking uitgevoerd 
met multilaterale organisaties zoals de VN, de Wereldbank en de 
Aziatische Ontwikkelingsbank. Mede als gevolg daarvan zijn meer 
evaluaties beschikbaar dan bij de andere twee landen. 

Vraag 40 

Wat is de toegevoegde waarde van de beleidsdoorlichting op 
VN-organisaties bovenop de recentelijk gepresenteerde scorecards? 

Antwoord 40 

In de scorecards is geen beoordeling van effectiviteit op het niveau van 
outcomes van de programma's en projecten van de VN-organisaties 
opgenomen. De evaluatie daarvan op landen- of organisatieniveau is 
lastig omdat veelal onvoldoende basisgegevens voorhanden zijn en 
vanwege de grote diversiteit in context, aard en omvang van de activi¬ 
teiten. In haar rapport «Monitoring beleid voor ontwikkelingssamen¬ 
werking: de multilaterale organisaties en de EU» (2014) is de Algemene 
Rekenkamer al ingegaan op deze problemen. Een van de doelstellingen 
voor het uitvoeren van een voorstudie is na te gaan of de beleidsdoor¬ 
lichting meer informatie over de effectiviteit van de mede door Neder¬ 
landse gesteunde organisaties en activiteiten kan opleveren. 

Vraag 41 

Kunnen de beleidsdoorlichtingen op het maatschappelijk kader en de 
VN-organisaties worden samengevoegd waardoor het makkelijker is te 
vergelijken welk kanaal effectiever en doelmatiger is op het betreffende 
thema? 

Antwoord 41 

Neen. Het is erg moeilijk om de bevindingen van evaluaties over 
programma's van zeer uiteenlopende multilaterale organisaties op te 
tellen en te komen tot een algemeen oordeel over de effectiviteit van het 
kanaal. Een vergelijking vereist allereerst dat de betrokken organisaties op 
de verschillende thema's, en in verschillende landen, robuuste effecteva¬ 
luaties hebben laten uitvoeren. Dit is niet altijd het geval. Daarnaast 
vereist een valide vergelijking dat de programma's dezelfde doelstellingen 
hadden, eenzelfde doelgroep en in dezelfde maatschappelijke context zijn 
uitgevoerd. Aan deze eis is slechts bij uitzondering voldaan. Een compli¬ 
catie hierbij is dat vaak verschillende organisaties en donoren tegelijk 
werkzaam zijn in dezelfde sector (in hetzelfde land), waarbij sprake kan 
zijn van synergie. Dat kan betekenen dat de succesvolle interventie van 
één organisatie een voorwaarde was voor het succes van een andere 
organisatie. 

Vraag 42 

Waarom bent u voor een resultaat georiënteerde aanpak en komt u toch 
met beleidsdoorlichtingen op het kanaal zoals het maatschappelijk kader 
en de VN-organisaties? Is er een mogelijkheid om de beleidsdoorlichting 
meer op resultaat te richten, zodat verschillende kanalen kunnen worden 
vergeleken? 

Antwoord 42 

In het aan Uw Kamer toegezonden plan van aanpak is dit dilemma 
onderkend. Dit vormde een van de argumenten voor het uitvoeren van 
een vooronderzoek. 
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Vraag 44 

Kunt u de Kamer het voldragen plan van aanpak sturen van de beleids- 
doorlichting naar VN-organisaties zodat zij nog invloed kan uitoefenen op 
de kwaliteit, inhoud en reikwijdte van de beleidsdoorlichting? 

Antwoord 44 

Ja. 

Vraag 45 

Hoe is het vooronderzoek bij de beleidsevaluatie over VN-organisaties van 
invloed op de uiteindelijke beleidsevaluatie? Welke vervolgstappen zijn 
mogelijk na afronding van het vooronderzoek? 

Antwoord 45 

De voorstudie moet uitmonden in een goede inschatting welke onder¬ 
zoeksvragen te beantwoorden zijn gelet op a) beschikbare informatie en 
bronnen, b) tijdigheid en c) kosten-baten inschatting van het onderzoek. 
Op basis van de bevindingen kan een definitieve opzet worden uitgewerkt. 

Vraag 46 

Welke periode beslaat de evaluatie naar VN-organisaties? 

Antwoord 46 

Uitgegaan wordt van de periode 2011-2015 

Vraag 47 

Wat wordt bedoeld met de uitspraak dat «de wenselijkheid voor eigen 
onderzoek naar de effecten van de gefinancierde VN-organisaties [is] 
beperkt»? Waarom is de wenselijkheid beperkt? Is eigen onderzoek niet de 
enige mogelijkheid om tot objectieve conclusies te komen? 

Antwoord 47 

Het is niet doelmatig indien iedere donor van VN organisaties de 
verschillende programma's afzonderlijk evalueert. De gezamenlijke 
evaluatiediensten van bilaterale donoren geven daarom prioriteit aan 
versterking van de evaluatiefunctie van de organisaties zelf. Zij beoor¬ 
delen de regelmatig de kwaliteit van (concept-) evaluaties. lOB baseert 
zich zo veel mogelijk op resultaten van uitgevoerde evaluaties, maar kan 
ook aanvullend onderzoek verrichten. 


Beleidsdoorlichtingen, evaluatierapporten en overig onderzoeken van lOB op het terrein van BHOS in de periode 2008-2015 


lOB nr. 

Jaar 

Rapport 

Begrotingsartikel 

Soort 

2015 

406' 

2015 

Grenzen aan de humanitaire hulp. Beleidsdoorlichting van de Nederlandse 
humanitaire hulp 2009-2014 

4.1 

B 

405' 

2015 

Gender sense & sensitivity: Policy evaluation on women's rights and gender 
equality (2007-2014) 

3.2 

B 

404' 

2015 

Met hernieuwde energie. Beleidsdoorlichting van de Nederlandse bijdrage aan 
hernieuwbare energie en ontwikkeling 

2.3 

B 

403' 

2015 

Premises and promises: A study of the premises underlying the Dutch policy for 
women's rights and gender equality 

3.2 

O 

402 

2015 

Work in Progress - Evaluation of the ORET Programme: Investing in Public 
Infrastructure in Developing Countries 

1.3 

E 

401 

2015 

Evaluation of the MDG3 Fund: «Investing in Equality» (2008-2011) 

3.2 

E 

400 

2015 

The Only Constant is Change: Evaluation of the Dutch contribution to transition in 
the Arab region (2009-2013) 

4.3 

E 


Tweede Kamer, vergaderjaar 2015-2016, 34 124, nr. 4 


11 












lOB nr. 

Jaar 

Rapport 

Begrotingsartikel 

Soort 

399' 

2015 

Gender, peace and securlty: Evaluation of the Netherlands and UN Security 

Council resolution 1325 

3.2 

E 

2014 

397 

2014 

Riding the wave of sustainable commodity sourcing: Review of the Sustainable 

Trade Initiative IDH 2008-2013 

1.1 

O 

396 

2014 

Access to Energy in Rwanda. Impact evaluation of activities supported by the 

Dutch Promoting Renewable Energy Programme 

2.3 

E 

394 

2014 

Autonomy, partnership and beyond: A counterfactual analysis of policy coherence 
for Ghana 

1.1 

O 

393 

2014 

Balanceren tussen koopmanschap en diplomatie. Evaluatie van de Netherlands 
Business Support Offices 2008-2013 

1.2 

E 

392 

2014 

Good things come to those who make them happen: Return on aid for Dutch 
exports 

1.2 

O 

391 

2014 

Useful patchwork: Direct Funding of Local NGOs by Netheriands Embassies 
2006-2012 

3.3 

E 

390 

2014 

Investeren in wereldburgerschap. Evaluatie van de Nationale Commissie voor 
Internationale Samenwerking en Duurzame Ontwikkeling (NCDO) 

5.2 

E 

389 

2014 

Op zoek naar focus en effectiviteit. Beleidsdoorlichting van de Nederlandse inzet 
voor Private Sector Ontwikkeling 2005-2012 

1.3 

B 

2013 

388 

2013 

Impact evaluation of improved cooking stoves in Burkina Faso: The impact of two 
activities supported by the Promoting Renewable Energy Programme 

2.3 

E 

387 

2013 

Between Ambitions and Ambivalence: Mid-term Evaluation SNV Programme 
2007-2015 

3.4 

E 

386 

2013 

Evaluation issues in financing for development: Analysing effects of Dutch 
corporate tax policy on developing countries 

1.1 

O 

385 

2013 

Economie diplomacy in practice: An evaluation of Dutch economie diplomacy in 

Latin America 

1.2 

E 

384 

2013 

Achieving universal access to sexual and reproductive heaith and rights: Synthesis 
of multilateral contribution to advancing sexual and reproductive heaith and rights 
(2006-2012) 

3.1 

O 

383 

2013 

NGOs in action: A study of activities in sexual and reproductive heaith and rights 
by Dutch NGOs 

3.1 

O 

381 

2013 

Balancing Ideals with Practice: Policy evaluation of Dutch involvement in sexual 
and reproductive heaith and rights 2007-2012 

3.1 

B 

380 

2013 

Linking Relief and Development: More than old Solutions for old problems? 

4.3 

O 

379 

2013 

Investeren in stabiliteit. Het Nederlandse fragiele statenbeleid doorgelicht 

4.3 

B 

378 

2013 

Public private partnerships in developing countries. A systematic literature review 

1.3 

O 

377 

2013 

Corporate Social Responsibility: the role of public policy. A systematic literature 
review of the effects of government supported interventions on the corporate 
social responsibility (CSR) behaviour of enterprises in developing countries 

1.1 

O 

376 

2013 

Renewable Energy: Access and Impact. A systematic literature review of the 
impact on livelihoods of interventions providing access to renewable energy in 
developing countries 

2.3 

O 

375 

2013 

The Netherlands and the European Development Fund - Principles and practices. 
Evaluation of Dutch involvement in EU development cooperation (1998-2012) 

5.1 

E 

374 

2013 

Working with the World Bank. Evaluation of Dutch World Bank policies and funding 
2000-2001 

5.1 

E 
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lOB nr. 

Jaar 

Rapport 

Begrotingsartikel 

Soort 

2012 

373 

2012 

Evaiuation of Dutch support to human rights projects (2008-2011) 

4.3 

E 

371 

2012 

Turning a right into practica. Impact evaluation of the Ixchen Centre for Women 
cervical cancer programme in Nicaragua (2005-2009) 

3.1 

E 

370 

2012 

Equity, accountability and effectiveness in decentralisation policies in Bolivia 

5.2 

O 

369 

2012 

Begrotingssteun: Resultaten onder voorwaarden - Doorlichting van een instrument 
(2000-2011) 

5.2 

B 

368 

2012 

Civil Society, Aid, and Development: A Cross-Country Analysis 

3.3 

O 

367 

2012 

Energievoorzieningszekerheid en Buitenlandbeleid - Beleidsdoorlichting 2006- 
2010 

1.2 en 2.3 

B 

366 

2012 

Drinkwater en sanitaire voorzieningen - Beleidsdoorlichting van het 

OS-beleid 1990-2011 

2.2 

B 

364 

2012 

Effectiviteit van Economische Diplomatie: Methoden en Resultaten van onderzoek 

1.2 

O 

2011 

363 

2011 

Improving food securlty: A systematic review of the impact of interventions in 
agricultural production, value chains, market regulation, and land security 

2.1 

O 

362 

2011 

Methodische kwaliteit van Programma-evaluaties in het Medefinancieringsstelsel-I 
2007-2010 

3.3 

O 

361 

2011 

Evaluatie van de Twinningfaciliteit Suriname-Nederland 

5.2 

E 

360 

2011 

More than Water: Impact evaluation of drinking water supply and sanitatlon 
interventions in rural Mozambique 

2.2 

E 

358 

2011 

Assisting Earthquake Victims: Evaluation of Dutch Cooperating Aid Agencies (SHO) 
Support to Haiti in 2010 

4.1 

E 

357 

2011 

The risk of vanishing effects: Impact Evaluation of drinking water supply and 
sanitation programmes in rural Benin 

2.2 

E 

356 

2011 

Between High Expectations and Reality: An evaluation of budget support in 

Zambia 

5.2 

E 

355 

2011 

Lessons Learnt: Synthesis of literature on the impact and effectiveness of 
investments in education 

3.4 

O 

354 

2011 

Leren van NGOs: Studie van de basic education activiteiten van zes Nederlandse 
NGOs 

3.4 

O 

353 

2011 

Education matters: Policy review of the Dutch contribution to basic education 
1999-2009 

3.4 

B 

352 

2011 

Unfinished business: making a difference in basic education. An evaluation of the 
impact of education policies in Zambia and the role of budget support. 

3.4 

E 

350 

2011 

Unconditional Trust: Dutch support to basic education in Bolivia (2000-2009) 

3.4 

E 

349 

2011 

The two-pronged approach Evaluation of Netherlands Support to Primary 

Education in Bangladesh, 1999-2009 

3.4 

E 

348 

2011 

Schoon schip. En dan? Evaluatie van de schuldverlichting aan de Democratische 
Republiek Congo 2003-2010 

5.2 

E 

345 

2011 

Wederzijdse belangen - wederzijdse voordelen. Evaluatie van de Schuldverlich- 
tingsovereenkomst van 2005 tussen de Club van Parijs en Nigeria. 

5.2 

E 

336 

2011 

Facilitating Resourcefulness. Synthesis report of the Evaluation of Dutch support to 
Capacity Development 

3.3 

E 

335 

2011 

Evaluation of Dutch support to Capacity Development. The case of the Netherlands 
Commission for Environmental Assessment (NCEA) 

2.3 

E 
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lOB nr. 

Jaar 

Rapport 

Begrotingsartikel 

Soort 

- 

2011 

Aiding the Peace. A Multi-Donor Evaluation of Support to Conflict Prevention and 
Peacebuilding Activities in Southern Sudan 2005-2010 

4.3 

E 

332 

2011 

Evaluation of Dutch support to Capacity Development. The case of PSO 

3.3 

E 

331 

2011 

Evaluation of Dutch support to Capacity Development. The case of the Netherlands 
Institute for Multiparty Democracy (NIMD) 

3.3 

E 

2010 

330 

2010 

Evaluatie Landenstudie MFO's Nicaragua 

3.3 

E 

329 

2010 

Evaluation of General Budget Support to Nicaragua 2005-2008 

5.2 

E 

328 

2010 

Evaluatie van de Nederlandse hulp aan Nicaragua 2005-2008 

5.2 

E 

327 

2010 

Impact Evaluation. Drinking water supply and sanitatlon programma supported by 
the Netherlands in Fayoum Governorate, Arab Republlc of Egypt, 1990-2009 

2.2 

E 

324 

2009 

Investing in Infrastructure 

1.3 

E 

- 

2009 

Synthesis of Impact evaluations in sexual and reproductive heaith and rights 

3.1 

O 

323 

2009 

Preparing the ground for a safer World 

4.2 

E 

322 

2009 

Draagvlakonderzoek. Evalueerbaarheid en resultaten 

5.2 

O 

321 

2009 

Maatgesneden Monitoring «Het verhaal achter de cijfers» 

3.3 

E 

2008 

320 

2008 

Het tropisch regenwoud in het OS-beleid 1999-2005 

2.3 

E 

319 

2008 

Meer dan een dak. Evaluatie van het Nederlands beleid voor stedelijke armoedebe¬ 
strijding 

5.2 

E 

317 

2008 

Sectorsteun in milieu en water 

2.3 

E 

315 

2008 

Support to Rural Water Supply and Sanitation in Dhamar and Hodeldah Governo- 
rates, Republic of Yemen 

2.2 

E 

313 

2008 

Explore-programma 

5.2 

E 

312 

2008 

Impact Evaluation: Primary Education Zambia 

3.4 

E 

311 

2008 

Impact Evaluation: Primary Education Uganda 

3.4 

E 

310 

2008 

Clean and Sustainable? 

2.3 

E 

309 

2008 

Het vakbondsmedefinancleringsprogramma 

3.3 

E 

308 

2008 

Het Nederlandse Afrikabeleid 1998-2006. Evaluatie van de bilaterale samenwerking 

5.2 

B 

307 

2008 

Beleidsdoorlichting seksuele en repoductieve gezondheid en rechten en hiv/alds 
2004-2006 

3.1 

B 


^ Deze rapporten zullen binnen afzienbare termijn worden gepubliceerd. 

B: beleidsdoorlichting 
E: evaluatie 
O: overig onderzoek 

NB evaluaties op het gebied van (basis)onderwljs zijn Ingedeeld onder begrotingsdoelstelling 3.4. De evaluatie van ontmijningsactiviteiten 
(rapport 323) is ingedeeld onder doelstelling 4.2. Evaluaties van budgetsteun en schuldverlichting zijn ingedeeld onder doelstelling 5.2. 
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